Techniques de Détection, de Reconnaissance et de Classification de primitives "Event-Based"

One of the fundamental tasks underlying much of computer vision is the detection, tracking and recognition of visual features. It is an inherently difficult and challenging problem, and despite the advances in computational power, pixel resolution, and frame rates, even the state-of-the-art methods fall far short of the robustness, reliability and energy consumption of biological vision systems. Silicon retinas, such as the Dynamic Vision Sensor (DVS) and Asynchronous Time-based Imaging Sensor (ATIS), attempt to replicate some of the benefits of biological retinas and provide a vastly different paradigm in which to sense and process the visual world. Tasks such as tracking and object recognition still require the identification and matching of local visual features, but the detection, extraction and recognition of features requires a fundamentally different approach, and the methods that are commonly applied to conventional imaging are not directly applicable. This thesis explores methods to detect features in the spatio-temporal information from event-based vision sensors. The nature of features in such data is explored, and methods to determine and detect features are demonstrated. A framework for detecting, tracking, recognising and classifying features is developed and validated using real-world data and event-based variations of existing computer vision datasets and benchmarks. The results presented in this thesis demonstrate the potential and efficacy of event-based systems. This work provides an in-depth analysis of different event-based methods for object recognition and classification and introduces two feature-based methods. Two learning systems, one event-based and the other iterative, were used to explore the nature and classification ability of these methods. The results demonstrate the viability of event-based classification and the importance and role of motion in event-based feature detection.La detection, le suivi de cible et la reconnaissance de primitives visuelles constituent des problèmes fondamentaux de la vision robotique. Ces problématiques sont réputés difficiles et sources de défis. Malgré les progrès en puissance de calcul des machines, le gain en résolution et en fréquence des capteurs, l’état-de-l’art de la vision robotique peine à atteindre des performances en coût d’énergie et en robustesse qu’offre la vision biologique. L’apparition des nouveaux capteurs, appelés "rétines de silicium” tel que le DVS (Dynamic Vision Sensor) et l’ATIS (Asynchronous Time-based Imaging Sensor) reproduisant certaines fonctionnalités des rétines biologiques, ouvre la voie à de nouveaux paradigmes pour décrire et modéliser la perception visuelle, ainsi que pour traiter l’information visuelle qui en résulte. Les tâches de suivi et de reconnaissance de formes requièrent toujours la caractérisation et la mise en correspondance de primitives visuelles. La détection de ces dernières et leur description nécessitent des approches fondamentalement différentes de celles employées en vision robotique traditionnelle. Cette thèse développe et formalise de nouvelles méthodes de détection et de caractérisation de primitives spatio-temporel des signaux acquis par les rétines de silicium (plus communément appelés capteurs “event-based”). Une structure théorique pour les tâches de détection, de suivi, de reconnaissance et de classification de primitives est proposée. Elle est ensuite validée par des données issues de ces capteurs “event-based”,ainsi que par des bases données standard du domaine de la reconnaissance de formes, convertit au préalable à un format compatible avec la representation “événement”. Les résultats présentés dans cette thèse démontrent les potentiels et l’efficacité des systèmes "event-based”. Ce travail fournit une analyse approfondie de différentes méthodes de reconnaissance de forme et de classification “event-based". Cette thèse propose ensuite deux solutions basées sur les primitives. Deux mécanismes d’apprentissage, un purement événementiel et un autre, itératif, sont développés puis évalués pour leur capacité de classification et de robustesse. Les résultats démontrent la validité de la classification “event-based” et souligne l’importance de la dynamique de la scène dans les tâches primordiales de définitions des primitives et de leur détection et caractétisation